curl --request POST \
--url https://apigw.mka1.com/api/v1/llm/chat/completions/stream \
--header 'Authorization: Bearer <token>' \
--header 'Content-Type: application/json' \
--data '
{
"model": "meetkai:functionary-urdu-mini-pak",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
],
"temperature": 0.7,
"max_tokens": 100
}
'{
"event": "message",
"data": {
"id": "chatcmpl-abc123",
"object": "chat.completion.chunk",
"created": 1704067200,
"model": "meetkai:functionary-urdu-mini-pak",
"choices": [
{
"index": 0,
"delta": {
"role": "assistant",
"content": "The capital of France is Paris."
},
"finish_reason": "stop"
}
]
}
}Obsoleto: Utiliza la API de Respuestas (/api/v1/llm/responses) en su lugar. Punto final de finalización de chat en streaming diseñado para su uso con el SDK de TypeScript/JavaScript generado a partir de la especificación de OpenAPI. Este punto final utiliza el streaming nativo de ORPC a través de generadores asíncronos y devuelve Eventos Enviados por el Servidor (SSE) formateados como fragmentos JSON estructurados. A diferencia del punto final del cliente de OpenAI, esto proporciona mejor seguridad de tipos e integración con el SDK generado. Utiliza este punto final al trabajar con el cliente de API autogenerado para respuestas en streaming seguras en tipos. El punto final admite almacenamiento en caché de respuestas, reanudación de solicitudes a través del encabezado x-last-chunk-index y seguimiento automático de uso.
curl --request POST \
--url https://apigw.mka1.com/api/v1/llm/chat/completions/stream \
--header 'Authorization: Bearer <token>' \
--header 'Content-Type: application/json' \
--data '
{
"model": "meetkai:functionary-urdu-mini-pak",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
],
"temperature": 0.7,
"max_tokens": 100
}
'{
"event": "message",
"data": {
"id": "chatcmpl-abc123",
"object": "chat.completion.chunk",
"created": 1704067200,
"model": "meetkai:functionary-urdu-mini-pak",
"choices": [
{
"index": 0,
"delta": {
"role": "assistant",
"content": "The capital of France is Paris."
},
"finish_reason": "stop"
}
]
}
}Documentation Index
Fetch the complete documentation index at: https://docs.mka1.com/llms.txt
Use this file to discover all available pages before exploring further.
Gateway auth: send Authorization: Bearer <mka1-api-key>. For multi-user server-side integrations, you can also send X-On-Behalf-Of: <external-user-id>.
Optional external end-user identifier forwarded by the API gateway.
Parámetros de solicitud para crear una finalización de chat. Basado en la API de Finalizaciones de Chat de OpenAI.
ID del modelo a usar. Puedes utilizar el formato proveedor:model o simplemente el nombre del modelo con un proveedor predeterminado.
1Una lista de mensajes que comprende la conversación hasta ahora. Se requiere al menos un mensaje.
1Show child attributes
Una lista de herramientas que el modelo puede llamar. Utiliza esto para proporcionar definiciones de funciones que el modelo puede invocar.
Show child attributes
Controles qué herramienta (si es que hay alguna) es llamada por el modelo. 'ninguna' significa que el modelo no llamará a ninguna herramienta. 'automático' significa que el modelo puede elegir. 'requerido' fuerza una llamada a la herramienta.
Si se establece, los deltas de mensajes parciales se enviarán como eventos enviados por el servidor. Nota: Este campo es ignorado por el punto final de transmisión, utilizado solo por los puntos finales de clientes compatibles con OpenAI.
Cuántas opciones de finalización de chat generar para cada mensaje de entrada. El valor predeterminado es 1.
1 <= x <= 9007199254740991El número máximo de tokens que se pueden generar en la finalización del chat. La longitud total de los tokens de entrada y los tokens generados está limitada por la longitud del contexto del modelo.
1 <= x <= 9007199254740991¿Qué temperatura de muestreo utilizar, entre 0 y 2? Valores más altos como 0.8 harán que la salida sea más aleatoria, mientras que valores más bajos como 0.2 la harán más enfocada y determinista.
0 <= x <= 2Una alternativa al muestreo con temperatura, llamada muestreo de núcleo, donde el modelo considera los resultados de los tokens con masa de probabilidad top_p. Así que 0.1 significa que solo se consideran los tokens que comprenden el 10% superior de la masa de probabilidad.
0 <= x <= 1Número entre -2.0 y 2.0. Los valores positivos penalizan nuevos tokens en función de su frecuencia existente en el texto hasta ahora, disminuyendo la probabilidad del modelo de repetir la misma línea de forma literal.
Número entre -2.0 y 2.0. Los valores positivos penalizan nuevos tokens según si aparecen en el texto hasta ahora, aumentando la probabilidad del modelo de hablar sobre nuevos temas.
Si se especifica, el sistema hará un esfuerzo por muestrear de manera determinista. No se garantiza el determinismo, pero la misma semilla debería devolver típicamente resultados similares.
-9007199254740991 <= x <= 9007199254740991Hasta 4 secuencias donde la API dejará de generar más tokens. El texto devuelto no contendrá la secuencia de parada.
Un objeto que especifica el formato que el modelo debe generar. Establecer en { 'type': 'json_object' } activa el modo JSON.
Show child attributes
Si se deben devolver las probabilidades logarítmicas de los tokens de salida. Si es verdadero, devuelve las probabilidades logarítmicas de cada token de salida devuelto en el contenido del mensaje.
Un entero entre 0 y 20 que especifica el número de tokens más probables a devolver en cada posición de token, cada uno con una probabilidad logarítmica asociada. logprobs debe estar configurado como verdadero si se utiliza este parámetro.
0 <= x <= 20Un identificador único que representa a su usuario final, lo que puede ayudar a monitorear y detectar abusos. También se utiliza para el seguimiento de uso y análisis.
Opciones para la respuesta de streaming. Solo establece esto cuando configures stream: true.
Show child attributes
Si habilitar la llamada a funciones en paralelo durante el uso de la herramienta.
Restringe el esfuerzo en el razonamiento para los modelos de razonamiento. Un esfuerzo menor resulta en respuestas más rápidas y menos tokens de razonamiento. Valores soportados: 'ninguno', 'mínimo', 'bajo', 'medio', 'alto', 'muy alto' o nulo.
none, minimal, low, medium, high, xhigh Cuando es verdadero, la puerta de enlace analiza la complejidad de la solicitud y enruta automáticamente entre variantes cuantizadas, MoE y densas de la familia de modelos solicitada.
¿Esta página le ayudó?